ビルドシステムをPyInstallerへ移行する by y-chan · Pull Request #504 · VOICEVOX/voicevox_engine

y-chan · 2022-11-06T02:33:04Z

内容

題の通り。一通りPyInstallerへの移行作業が終わったので(Dockerfileの扱いについては #482 で)masterにマージし、PyInstallerへの移行を完了させます。

その他

マージ前にビルドを回してみています
~~https://github.com/VOICEVOX/voicevox_engine/actions/runs/3402637779~~
問題が見つかったのでやり直し
https://github.com/VOICEVOX/voicevox_engine/actions/runs/3404096037

use pyinstaller in github action for windows build

* use pyinstaller in github action for mac build and integrate windows and mac build process * use spec file in github actions * fix folder name * use noconfirm option * remove build utils of macos * fix miss and split step * integrate steps * add comment to run.spec

* use pyinstaller in github action for linux build and integrated job * fix nvidia gpg key * add build essential setup step * update ubuntu version * fix miss * fix error * fix download core * fix shell miss * fix typo * fix miss * fix tar command * downgrade ubuntu version and fix pip command * add create symlink step * fix miss * update cuda toolkit and remove prepare cuda apt key step * command integrating * use dist/run.dist directory in windows * use setup python4 and remove no-cache dir option

fix faild start up when using gpu

* remove build-env from docker file * remove nuitka build issue

github-actions · 2022-11-06T02:42:31Z

Coverage Result

Resultを開く

Name	Stmts	Miss
voicevox_engine/init.py	1	0
voicevox_engine/acoustic_feature_extractor.py	75	0
voicevox_engine/dev/synthesis_engine/init.py	2	0
voicevox_engine/dev/synthesis_engine/mock.py	36	2
voicevox_engine/full_context_label.py	162	3
voicevox_engine/kana_parser.py	86	1
voicevox_engine/model.py	154	7
voicevox_engine/mora_list.py	4	0
voicevox_engine/part_of_speech_data.py	5	0
voicevox_engine/preset/Preset.py	12	0
voicevox_engine/preset/PresetLoader.py	34	1
voicevox_engine/preset/init.py	3	0
voicevox_engine/synthesis_engine/init.py	5	0
voicevox_engine/synthesis_engine/core_wrapper.py	206	166
voicevox_engine/synthesis_engine/make_synthesis_engines.py	57	49
voicevox_engine/synthesis_engine/synthesis_engine.py	133	12
voicevox_engine/synthesis_engine/synthesis_engine_base.py	67	9
voicevox_engine/user_dict.py	129	6
voicevox_engine/utility/init.py	3	0
voicevox_engine/utility/connect_base64_waves.py	37	0
voicevox_engine/utility/path_utility.py	26	6
TOTAL	1237	262

# Conflicts: # .github/workflows/build.yml # requirements-dev.txt

y-chan · 2022-11-06T02:50:26Z

voicevox_engine/generate_licenses.py

Lines 164 to 168 in 0dec9dc

    
           elif license.name.lower() == "nuitka": 
        
               with urllib.request.urlopen( 
        
                   "https://raw.githubusercontent.com/Nuitka/Nuitka/develop/LICENSE.txt" 
        
               ) as res: 
        
                   license.text = res.read().decode()

ここみたくNuitka固有のコードが残ってるところもあるけど、特に気にしなくていいかなぁ...

Hiroshiba · 2022-11-06T03:16:26Z

ここみたくNuitka固有のコードが残ってるところもあるけど、特に気にしなくていいかなぁ...

あー･･･。まあ、無い方が綺麗だなとは思いますね。。
気が向いたら殲滅して頂けると･･････！！

y-chan · 2022-11-06T03:22:40Z

Utility関数もあるので、派生ソフトウェアのために完全に消すのはやめた方がいいかもしれない...?(いやちょっとわからない...)

voicevox_engine/voicevox_engine/utility/path_utility.py

Lines 20 to 33 in 0dec9dc

    
           def is_development() -> bool: 
        
               """ 
        
               開発版かどうか判定する関数 
        
               Nuitka/Pyinstallerでコンパイルされていない場合は開発環境とする。 
        
               """ 
        
               # nuitkaビルドをした際はグローバルに__compiled__が含まれる 
        
               if "__compiled__" in globals(): 
        
                   return False 
        
               # pyinstallerでビルドをした際はsys.frozenが設定される 
        
               elif getattr(sys, "frozen", False): 
        
                   return False 
        
               return True

Hiroshiba · 2022-11-06T03:27:47Z

まあ･･･ここだけ残しておきますか･･･。

remove nuitka cache path specification from makefile

y-chan · 2022-11-06T04:32:58Z

voicevox_engine/generate_licenses.py

Lines 164 to 168 in 0dec9dc

elif license.name.lower() == "nuitka":

with urllib.request.urlopen(

"https://raw.githubusercontent.com/Nuitka/Nuitka/develop/LICENSE.txt"

) as res:

license.text = res.read().decode()

ここみたくNuitka固有のコードが残ってるところもあるけど、特に気にしなくていいかなぁ...

こちらに関しては既に消してた(#443)ので大丈夫でした...!
その他に残ってる箇所はなさそうでした！

add engine manifest json

Hiroshiba

LGTM！！

Hiroshiba · 2022-11-07T14:57:44Z

@aoirint さん、 @PickledChair さん、もしよかったらレビューお願いできますでしょうか 🙇

たぶん全部事細かに見ていくのは大変だと思うので、なんとなく眺めて良さそうなら良いかなと思っています。
もし課題があったら実行時エラーで･･･！

PickledChair

たぶん全部事細かに見ていくのは大変だと思うので、なんとなく眺めて良さそうなら良いかなと思っています。
もし課題があったら実行時エラーで･･･！

了解です！　確かに変更量が多いので、大雑把に見るだけにしました。その分には LGTM です（マージ後に問題が見つかったら適宜対応ということに賛成です）

Hiroshiba · 2022-11-08T15:28:13Z

レビューありがとうございます！
ではマージしたいと思います！！

@y-chan さん
丁寧なコーディングと検証・コミュニケーションでとても進めやすかったです！
変更の影響範囲が広く大変だったと思います。
本当にありがとうございました！！

y-chan added 6 commits August 8, 2022 01:56

WindowsビルドをPyInstallerへ移行 (#443)

3bb1c3a

use pyinstaller in github action for windows build

[PyInstaller] Linuxビルドがうまく動かない問題を修正 (#468)

a3deaa7

fix faild start up when using gpu

PyInstaller: エンジン使用時に一時ファイルが残ってしまう問題の修正 (#503)

6ad80c3

PyInstaller: Dockerfileからビルド関連のコードを削除 (#484)

49a6f6f

* remove build-env from docker file * remove nuitka build issue

Merge branch 'master' into pyinstaller

fca016f

# Conflicts: # .github/workflows/build.yml # requirements-dev.txt

y-chan force-pushed the pyinstaller branch from 6061409 to fca016f Compare November 6, 2022 02:45

PyInstaller: Nuitkaのキャッシュパス指定を削除 (#506)

6d2d1d9

remove nuitka cache path specification from makefile

y-chan added 2 commits November 6, 2022 20:03

PyInstaller: ビルドドキュメントでPyInstallerを使うようにする (#505)

3f35ffd

PyInstaller: engine_manifest.jsonを含み忘れていた問題の解消 (#507)

c28b71d

add engine manifest json

Hiroshiba approved these changes Nov 7, 2022

View reviewed changes

PickledChair approved these changes Nov 8, 2022

View reviewed changes

Hiroshiba merged commit 1060356 into master Nov 8, 2022

Hiroshiba deleted the pyinstaller branch November 8, 2022 15:28

aoirint mentioned this pull request Dec 3, 2022

Docker: Makefileからバイナリビルド用のtargetを削除する #520

Merged

aoirint mentioned this pull request Dec 26, 2022

リリースファイルとアーティファクトにプロダクト名とバージョンを追加 #537

Merged

Hiroshiba mentioned this pull request Aug 11, 2023

Pyinstallerにした影響で0.14から起動が遅くなっている？ #721

Closed

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

ビルドシステムをPyInstallerへ移行する#504

ビルドシステムをPyInstallerへ移行する#504
Hiroshiba merged 10 commits intomasterfrom
pyinstaller

y-chan commented Nov 6, 2022 •

edited

Loading

Uh oh!

github-actions Bot commented Nov 6, 2022 •

edited

Loading

Uh oh!

y-chan commented Nov 6, 2022

Uh oh!

Hiroshiba commented Nov 6, 2022

Uh oh!

y-chan commented Nov 6, 2022 •

edited

Loading

Uh oh!

Hiroshiba commented Nov 6, 2022

Uh oh!

y-chan commented Nov 6, 2022 •

edited

Loading

Uh oh!

Hiroshiba left a comment

Uh oh!

Hiroshiba commented Nov 7, 2022

Uh oh!

PickledChair left a comment

Uh oh!

Hiroshiba commented Nov 8, 2022

Uh oh!

Reviewers

Assignees

Labels

Projects

Milestone

Development

Uh oh!

3 participants

Conversation

y-chan commented Nov 6, 2022 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

内容

関連 Issue

その他

Uh oh!

github-actions Bot commented Nov 6, 2022 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Coverage Result

Uh oh!

y-chan commented Nov 6, 2022

Uh oh!

Hiroshiba commented Nov 6, 2022

Uh oh!

y-chan commented Nov 6, 2022 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Uh oh!

Hiroshiba commented Nov 6, 2022

Uh oh!

y-chan commented Nov 6, 2022 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Uh oh!

Hiroshiba left a comment

Choose a reason for hiding this comment

Uh oh!

Hiroshiba commented Nov 7, 2022

Uh oh!

PickledChair left a comment

Choose a reason for hiding this comment

Uh oh!

Hiroshiba commented Nov 8, 2022

Uh oh!

Reviewers

Assignees

Labels

Projects

Milestone

Development

Uh oh!

3 participants

y-chan commented Nov 6, 2022 •

edited

Loading

github-actions Bot commented Nov 6, 2022 •

edited

Loading

y-chan commented Nov 6, 2022 •

edited

Loading

y-chan commented Nov 6, 2022 •

edited

Loading